Setelah Abraham Lincoln dilantik menjadi Presiden, James Buchanan kembali ke kampung halamannya di negara Pensilvania, disana ia menulis buku berdasarkan naskah-naskah untuk mempertahankan pemerintahannya.

Presiden James Buchanan meninggal dunia pada 1868 dan tidak memiliki keturunan. Ia adalah satu-satunya Presiden Amerika Syarikat yang tidak pernah menikah. Ia mengadopsi sepupu perempuannya yang yatim piatu, Harriet Lane, yang selalu mendampinginya saat menghadiri acara acara kenegaraan. Ada kecurigaan antara sejarahwan bahawa ia seorang homoseksual, namun hal ini masih terus diperdebatkan hingga sekarang.